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(54) Vorrichtung und Verfahren zur digitalen Bildstabilisierung 



(57) Die Erfindung bezieht sich airf eine hochge- 
nauedigitale Stabiiisierung der Bildaufnahme mit einem 
in einem sich bewegenden Oder fliegenden Trdger ein- 
gesetzten CCD-Sensor. Zur digitalen Bildstabilisierung 
werden die (Rug)Bewegungen des TrSgers mit Hiife 



eines inertiaten Drehratensensors erfaBt und gespei- 
chert. Dann wird eine Korrektur der Bilddaten anhand 
der erfaBten (Flug)Bewegungen durchgefuhrt. 
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Beschreibung 

[0001 ] Die vorliegende Erf indung bezieht sich auf eine 
Vorrichtung und ein Verfahren zur digitalen Stabilisie- 
rung der Blldaufnahme mit einem in einem sich bewe- 
genden Oder fliegenden Trdger eingesetzten CCD- 
Sensor gemSB dem Gatlungsbegriff des Anspruchs 1. 
[0002] Bisher bekannte Stabilisierungen arbeiten 
nach dem elektro-mechanischen Prinzip mIt einer kar- 
danischen Aufhangung des Sensors mit Ansteuerung 
der Stellmotoren durch einen Inertialsensor. Oder es 
werden CCD-Sensoren bei Luftbildaufnahmen ohne 
Stabilislerung eingesetzt, wobei dann bei einem Zeilen- 
sensor zwischen den einzeinen Zeilen oder bei einem 
Fiachensensor zwischen den Frames eine Bildwande- 
rung in Kauf genommen werden mu6, die durch Stdrbe- 
wegungen des Trglgers verursacht wird. 
[0003] Generell ist es mdglich, eine Biidstabilisierung 
an Bord oder In einer Bodenstation durchzufOhren. Im 
ersten Fall spricht man von einer „On-llne-Stabillsle- 
rung*' zur Darsteliung auf einem Monitor, im zwelten Fall 
von einer „Off-line-Blldauswertung". In der Regel wird 
bisher eine „On-line-Stabilisierung durchgefOhrt. Insbe- 
sondere erfolgt diese bei Fiachensensoren in Camcor- 
dern, wobei eine On-line- Kbrrektur durchgefOhrt wird 
und eine analoge Signaiverarbeitung erfolgt. 
[0004] Beispielswelse ist es aus der EP 0 543 394 A2 
bekannt, daf3 fOr einen Fidchensensor die zum Zeit- 
punkt der Belichtung auftretenden Bewegungen on-line 
in einem Frequenzbereich von 1-1 2Hz kompensiert 
werden. Die Korrektur erfolgt dabei durch ein optlsches 
Element. Die Kortektursignale werden uber zwel Sen- 
soren, die jeweils die Winkelbeschleunigung oder die - 
geschwindigkeit messen, ermittelt. 
[0005] Weiterhin offenbart die EP 0 574 228 A1 die 
Ermittlung von Vibrationen in horizontaler und vertikaler 
Richtung, wobei eine On-line- Korrektur entweder durch 
Umadressierung oder das Auslesen aus Speicherregi- 
stern mit geringerer Frequenz als belm Schreiben vor- 
genommen wird. 

[0006] Schlie3lich ist aus der US 4 959 725 eine sehr 
aufwendige Schaltung zur Korrektur des Videosignals 
eines Fldchensensors unter Auswertung von Beschleu- 
nigungsmessern bekannt. 

[0007] Jedoch sind alle bekannten LOsungen des 
Standes der Technik von ihrer Wirtschaftlichkeit her 
nicht anndhernd als optimal zu bezelchnen. da sie mit 
hohen Kosten verbunden sind. 
[0008] Der vorliegenden Erf indung liegt daher die Auf- 
gabe zugrunde, eine Vorrichtung und ein Verfahren zur 
digitalen Biidstabilisierung zu schaffen, mit der bzw. 
dem die BewegungseinfiDsse eines sich bewegenden 
Oder fliegenden Trdgers auf die BildqualttSt eines sich 
mitbewegenden oder mitfliegenden Sensors zu gerin- 
gen Kosten kompensierbar sind. d.h. eine Korrektur von 
Roil- und Nickeinflussen von Luftbildkameras mit Zei- 
lensensoren und Fiachensensoren mit mindestens 
Pixetgenaulgkert ermOglicht wird, die digital mit groQen 



Datenmengen >6000 Pixein pro Zeile und deshalb off- 
line erfolgt. und dabei wirtschaftlich ist. 
[0009] Diese Aufgabe wird durch die im Anspruch 1 
bzw. 6 angefuhrten MaBnahmen geldst. In den Unter- 
5 ansprOchen sind Ausgestaltungen und Weitertildungen 
angegeben und in der nachfotgenden Beschreibung In 
Verbindung mit der Zeichnung werden bevorzugte Aus- 
fOhrungsbeispiele eriautert. 
[0010] Eszeigen: 

70 

Fig. 1 ein Blockschaltbild einer erf indungsgemaBen 
On-Line-Stabilisierung der Bildaufnahme und 

Rg. 2 ein Blockschaltbild einer erfindungsgemaBen 
15 Off-IJne*Stabilisierung der Bildaufnahme. 

[0011] Bei dem Verfahren bzw. der Vorrichtung zur 
digitalen Biidstabilisierung gemaB der Erfindung kann 
eine Biidstabilisierung entweder an Bord, d.h. eine On- 

20 Line-Stabilisierung zur Darsteliung auf einem Monitor, 
Oder in einer Fest- bzw. Bodenstation, d,h, eine Off- 
Line-Bildauswertung, erfolgen. 
[0012] Figen. 1 und 2 zeigen ein Blockschaltbild einer 
erfindungsgemaBen On-Line-Stabilisierung bzw. einer 

25 erfindungsgemaBen Off-Line- Stabilislerung. Dabei wer- 
den die (Flug)Bewegungen des Tragers mit Hilfe eines 
inertialen Drehratensensors 2 als Winkelinformationen 
11 ertaBt und zusammen mit den BiWdaten 10 auf 
einem Datentrdger 3 bzw. 6 zwischengespeichert oder 

30 aufgezeichnet. 

[0013] Bei einer Bilddatenkorrektur werden zu einer 
Stabilislerung um die Rollachse Bildzeiien pixelweise 
urn entsprechend Winkelinkremente quer zur Flugrk;h- 
tung verschoben, wahrend eine Stabilislerung um die 

35 Nickachse durch ein Weglassen oder Vervielfaitigen 
ganzer Zeilen erfolgt Bei einer Stabillsierungsgenauig- 
keit im Subpixelbereich wird die Bitdinformation benach- 
barter Pixel in und quer zur Flugrichtung interpoliert. 
[0014] Der inertiale Drehratensensor 2, der die Rug- 

40 bewegungen erfaBt, kann ein sogenannter ^Strap Down 
Sensor" sein. Bei diesem Sensor ist das Stabilisie- 
rurnisergebnis Im wesentlichen von der Skalierungsge- 
nauigkeit und Bandbreite des Sensors abhangig. 
Insbesondere besitzt der Drehratensensor 2 eine endii- 

45 Che Bandbreite. typischerweise 100Hz und liefert daher 
die erfaBten Winkelinformationen 11 zeitverzogert. Aus 
diesem Grund kann sein Ubertragungsverhalten fur nie- 
dere Frequenzen durch ein Totzeitglied (linerare Phase, 
d.h. Phasennacheilung proportional zur Frequenz) 

so angenahert werden. 

[0015] Als Drehratensensor 2 ist beispielswelse ein 
dynamisch abgestimmter Kreisel (DAK) sehr gut geeig- 
net. Mit solchen Qeraten sind Skalierungsfehler bis 
0.1% und Bandbreiten bis 100Hz erretehbar. 

55 [001 6] Bei einer beispielshaften Ausfuhrung eines als 
Drehratensensor 2 venvendeten dynamisch abge- 
stimmten Kreisels (DAK) betrug die PixelgrOBe des 
Sensors (dx) 12 ^m. die Brennweite eines Objektivs (f) 
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60mm, die WinKelausdehnung des Sensors 
(DAS=:dx/f) 0.2mrad und die Zeilenfrequenz (linerate) 
minimal 200Hz und maximal 2500 Hz. Sinusfdrmige 
SWranregungen im Bereich von 1070,2Hz bis 
0,2V10Hz haben eine Drehrale von 12,5Vs0c » 5 
220mrad/sea 

[001 7] Fur eine Belichtungszeit von 0,4ms ergibt sich 
dabel eine Bildverschmierung von 0,09 mrad, was 0.5 
Pixein entsprlcht, wShrend sich bei einer Belichtungs- 
zeit von 5ms eine Bildverschmierung von 1,1 mrad 
ergibt, was 5,5 Pixein entspricht. Demnach ergibt sich, 
da3 bei niederen Zeilenfrequenzen eine Bildverschmie- 
rung uber mehrere Pixel in Kauf genommen werden 
mu3. die durch die nachfolgende Stabilisierung nicht 
mehr korrigiert werden kann. 
[0018] Ein Gesamtfehler, d.h. die quadratische 
Summe aus dem Restfehler der digttalen Stabilisierung 
und der Bildverschmierung, betragt abhSngig von der 
Zeilenfrequenz bzw. Linerate (LR) fur LR=:2500Hz 
0,22mrad und fOr LR=:200Hz 1,12mrad. Damit ergibt 
sich for den Stabilisierungsfaktor folgendes: 



Stfiranregung: 


Stabilisierungsfaktor fOr 
LR=:2500Hz (200Hz) 


10^/0,2Hz 
0.2710Hz 


792(155) 
16(3) 



[GDI 9] Die Rechnerslmulation eines dynamisch abge- 
stimmten Kreiseis (DAtCs) mit 100Hz Bandbreite und 
0.1% Skalierungsfehler hat weiterhin ergeb^, daB fOr 
sinusf6rmige StCranregungen im Bereich 1070.2Hz bis 
0.2710Hz der Stabilisierungsfehler des korrigierten Bil- 
des <> 0.2 mrad (Null-Spitze) ist. 
[0020] Eine digitate Bildstabilisierung ist also dann 
sinnvoll. wenn die Frequenzen der Stdranregung so 
gering sind, da6 keine starke „Verschmi8rung" wShrend 
der Belichtungszeit auftrltt. Der Nutzen der Stabilisie- 
rung kann durch den Stabilisierungsfaktor beurteilt wer- 
den, der das Amptitudenverhditnis von StOranregung 
und Rest-Bildbewegung ist. 

[0021] Insbesondere kdnnen auch nichtstabilisierte 
Sensoren durch entsprechende Module wirtschaftlich 
mit einer Vorrichtung zur digitalen Bildstabilisierung 
ePA^eitert und damit aufgewertet werden. 
[0022] Eine erflndungsgemSBe digitale Bildstabilisie- 
rung kann nun entweder an Bord als On-Une-Stabilisie- 
rung (Fig. 1) zur Darstellung auf einem Monitor 5 
erfolgen, wobei an Bord ein Drehratensensor 2 ausge- 
bildet ist und eine Einrichtung zur Bilddatenzwischen- 
spelcherung 3 sowie eine Einrichtung zur 
Bilddatenkorrektur 4, oder als Off-Line-Stabilisierung in 
einer Fest- bzw. Bodenstation, wobei an Bord ein Dreh- 
ratensensor 2 und eine zusatzliche Aufzeichnungs ein- 
richtung 6 fur Drehratensensorsignaie (Winkel- 



informationen) ausgebildet sind und in der Fest- bzw. 
Bodenstation eine Einrichtung 4* zur DurchfOhrung 
einer Bildkonektur gemSB registrierter bzw. aufgezeich- 
neter Drehratensensorsignaie (Winkelformationen) 
ausgebildet ist. 

[0023] Insbesondere macht sich erf IndungsgemaB die 
Vomchtung bzw. das Verfahren zur digitalen Bikistabili- 
sierung zunutze, da 13 die Bildinformation zwischen- 
gespeichert oder zeltverzOgert werden kann. Dabei 
werden zur Bildkorrektur die Bilddaten zu den aufge- 
zeichneten Winkelinformationen urn ein Zeitintervall 
verzdgert, das die ZeitverzQgerung durch den Drehra- 
tensensor sowie durch Abtastung und Rechenzeit 
berucksichtigt. 

[0024] Bei der On-Line-Stabilisierung (an Bord des 
Trdgers), wie In Fig. 1 gezeigt, erfolgt eine Erfassung 
von BIkidaten 10 durch einen CCD-Sensor, der in 
einem sich bewegenden bzw. fliegenden TrSger einge- 
setzt ist. Diese Bilddaten 10 werden in einer Einrichtung 
3 zwischengespeichert und als zeitverzOgerte Bilddaten 
10' an eine Einrichtung zur Bilddatenkorrektur 4 ausge- 
geben. Zusdtzlich erhdit die Einrichtung zur Bikddaten- 
korrektur 4 von einem Drehratensensor 2 
Winkelinformationen, die die (Flug)Bewegungen des 
Tragers darstellen. Die Einrichtung zur BiWdatenkorrek- 
tur 4 erzeugt aus den verzdgerten Bilddaten 10' und 
den Winkelinfbrmationen 11 ein stabilislertes Biid 13, 
das auf einem Monitor 5 angezeigt wird. der sich eben- 
falls an Bord des Trfigers bef Indet, 
[0025] Bei der Off-Line-Stabilisierung, wie in Fig. 2 
gezeigt, erfolgt eine Erfassung von Bilddaten 10 durch 
einen an Bord eines sich bewegenden oder fliegenden 
Trdgers eingesetzten CCD-Sensor 2. AuBerdem ist an 
Bord des Trdgers ein Drehratensensor 2 ausgebildet. 
der die (Flug)Bewegungen des TrSgers erfaBt und ent- 
sprechende Winkelinformationen 11 ausgibt. Diese 
Winkelinformationen 11 werden zusammen mit den 
Bilddaten 10 in einer Aufzeichnungseinrichtung 6 auf- 
gezeichnet. Zur Auswertung und Bilddatenkorrektur Off- 
line werden die aufgezeichneten Bildaten und Winkel- 
informationen 12 in eine Einrichtung zur Bilddatenkor- 
rektur 4' in einer Fest- bzw. Bodenstation ausgegeben, 
Diese Einrichtung zur Bilddatenkorrektur 4' verzdgert 
die Bilddaten zu den aufgezeichneten Winkelinformatio- 
nen um ein Zeitintervall, das die ZeitverzC)gerung durch 
den Drehratensensor sowie durch Abtastung und 
Rechenzeit berucksichtigt. 

[0026] Somit wird durch die vorstehend eriduterten 
MaBnahmen die Probtematik von unerwQnschten 
Bewegungseinf IQssen eines sich bewegenden oder flie- 
genden Trdgers auf die Bildqualitdt eines sich mitbewe- 
genden oder mitfliegenden Sensors durch eine digitale 
Stabilisierung in sehr wirtschaftlicher Weise gel6st. 
[0027] Durch eine Integration der erf indungsgemdBen 
Vomchtung bzw. des Verfahrens in elektro-optische 
Sensorsysteme kann eine Leistungssteigerung erreicht 
werden. 
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PatentansprQche 

1. Verfahren zum digrtalen Stabillsleren der Bildauf- 
nahme mit einem In einem sich bewegenden oder 
fliegenden Trdger eingesetzten CCD-Censor (1) 
zum weitgehenden Beseitigen von unenwQnschten 
BewegungseinflQssen von (Flug}Bewe9ungen des 
Trftgers auf die Bildqualitdt des sich mitbewegen- 
den Oder mitfliegenden Sensors (1), mit den Schrit- 
ten: 

a) Erfassen eines BikJs durch einen CCO-Sen- 
sor (1) und Ausgeben von Bilddaten (10). 

b) Erfassen der (Flug)Bewegungen des TrS- 
gers mit Hllfe eines inertialen Drehratensen- 
sors (2) als Winkelinfbrmationen (11), wobet 
der Drehratensensor (2) die Winkelinfbrmatio- 
nen (1 1 ) zeitverz6gert 11 efert, und 

c) Korrigleren der Bilddaten (10; 10) gem^R 
erfaBter Winkelinformationen (11), wobei die 
Bilddaten (10') zu den erfaBten Winkelinforma- 
tionen (11). um ein Zeitintervall verzOgert wer- 
den. 

2. Verfahren nach Anspruch 1, mit dem werteren 
Schritt 

Zwischenspeichern der Bilddaten (10) vom 
CCD-Sensor (2) auf einem Datentrdger (3), um 
die Bilddaten (10) um ein Zeitintervall zu verzd- 
gern. 



6 

als Drehratensensor (2) ein „Strap Down Sen- 
sor" eingesetzt wird. 

7. Verfahren nach einem der Anspruche 1 bis 6. wobei 

5 

beim Korrigleren der Bilddaten (10; 10) zum 
Stabilisteren um die Rollachse die Bildzeilen 
pixeiwelse um die entsprechenden Wlnkelin- 
kremente quer zu Flugrichtung verschoben 
10 werden, wahrend das Stabilisieren um die 

Nickachse durch das Weglassen oder Verviel- 
fdftigen ganzer Zeiten erfolgt. 

8. Vorrichtung zur digitalen Stabilisierung der Bildauf- 
15 nahme mit einem in einem sich bewegenden oder 

fliegenden Trdger eingesetzten CCD-Sensor (1) 
zum weitgehenden Beseitigen von unerwQnschten 
Bewegungseinflussen von (Flug)Bewegungen des 
Trdgers auf die BildqualitSt des sich mitbewegen- 
20 den Oder mitfliegenden Sensors (1), mit: 

einem CCD-Sensor (1) zur Bilderfassung und 

zur Ausgabe von Bilddaten (10). 

einem inertialen Drehratensensor (2) zur Erfas- 

25 sung von (Fiug)Bewegungen des Trdgers als 

Winkelinformationen (11), und 
einer Einrichtung zur Bilddaten korrektur (4; 4') 
gemao erfafiter Winkelinformationen (11), 
wobei die Bilddaten (10; 10 ) zu den erfaBten 

30 Winkelinforn^tionen (11) um ein Zeitintervall 

verzOgert sind. 
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3. Verfahren nach Anspruch 1 oder 2. wobei 

das Kon'igieren als On-Line-Stabilisierung 
erfolgt, 

mit dem weiteren Schritt: 
d) Anzeigen der korrlglerten Bilddaten als sta- 
bifisiertes Bild (13) auf einem* Monitor (5) an 
Bord des Trdgers. 

4. Verfahren nach Anspruch 1 . mit dem Schritt: 

Aufzeichnen der erfaBten Winkelinformationen 
(11) zusammen mit den Bilddaten (10) vom 
CCD-Sensor (1) auf einem DatentrSger (6), 
wobei das Korrigleren als Off-line-Bildauswer- 
tung in einer Fest- bzw. Bodenstatlon erfolgt. 

5. Verfahren nach einem der Ansprtiche 1 bis 4. wobei 

das Zeitintervall zur VerzOgerung die Zeitver- 
zOgerung durch den Drehratensensor (2) 
sowie durch Abtastung und Rechenzeit berOck- 
sichtigt. 

6. Verfahren nach einem der Anspn[kche 1 bis 5. wobei 



9. Vorrichtung nach Anspruch 1 , mit 

35 einer Einrichtung zur Btldatenzwischenspei- 

cherung (3), die die Bilddaten (10) um ein Zeit- 
intervall verzOgert. 

10. Vorrichtung nach Anspruch 8 oder 9, wobei 

40 

die Einrichtung zur Bilddatenkorrektur (4) an 
Bord des Trdgers ausgebildet ist und eine On- 
Line-Stabilisierung durchfuhrt und 
ein Monitor (5) an Bord des Trdgers zur 
45 Anzeige der konigierten Bilddaten als stabtli- 

siertes Bild (13) ausgebikiet ist. 

11. Vorrichtung nach Anspruch 1, mit 

50 einer Einrichtung zur Aufzeichnung (6) der 

Winkelinformationen (11) vom Drehratensen- 
sor (2) zusammen mit den Bilddaten (10) an 
Bord des Tragers, wobei 
die Einrichtung zur Bilddatenkorrektur (4') in 
55 einer Fest- bzw. Bodenstation ausgebildet ist 

und eine Off-Line-Bildauswertung durchfOhrt. 

12. Vorrichtung nach einem der Ansprtiche 8 bis 11, 
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wobei 

das Zeitinterval! zur Verzdgerung die Zeltver- 
zOgerung durch den Drehratensensor sowie 
durch Abtastung und Rechenzelt berOcksich- s 
tigt. 

13. Vorrichtung nach einem der AnsprOche 8 bis 12. 
wobei 

10 

der Drehratensensor (2) ein ,.Strap Down Sen- 
sor" 1st. 

14. Vorrichtung nach einem der AnsprOche 8 bis 13, 
wobei 15 

die Einrichtung zur Bitddatenkon'ektur (4; 4*) 
zur digltaien Stabilisierung urn die Roilachse 
die Bildzeilen pixetweise urn die entsprechen- 
den Winkelinkremente quer zu Flugrlchtung 20 
verschiebt, wdhrend sie zur Stabilisierung um 
die Nickachse ganze Zeilen wegld8t Oder ver- 
vieimitigt. 
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